#Delta Rule

3 篇

Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta Attention

Complex KDA：理解并增强 Kimi Delta Attention 的表达能力

🧭 线性 RNN 表达能力增强

University of Freiburg · Microsoft Research · University of Tübingen · MPI-IS Tübingen · EPFL

通过扩展门控与 delta 系数范围，提出 CKDA，在不增加秩或成本下实现 2D 旋转并达到 DeltaProduct2 的表达能力

📌 工作参考价值（4 点）

对需要轻量序列建模的电商/广告场景（如用户行为序列、点击流预测），CKDA 提供了一种保持状态非膨胀的对角加秩一线性 RNN，计算开销低，可作为长序列用户建模的候选架构。
参数范围扩展（门控 [-1,1]，beta [0,2]）简单且不增加推理成本，可以尝试在已有 KDA 或 delta-rule 模块中直接调整范围，观察对长尾序列或周期行为（如促销周期）的建模提升。
文中证明 CKDA 可跟踪 SO(3) 子群，表明其具备更强的状态跟踪能力，适合需要精确维护内部状态的 Agent 或对话系统，可能减少层数或状态维度需求。
注意：论文核心是基础架构创新，业务直接迁移价值有限，主要在需要高效长上下文处理且对表达能力有要求的场景（如用户长期兴趣演化）可考虑替换 Transformer 层或作为轻量 backbone。

LLM | 2026-09-21 | cs.LG | score 7/10

DeltaMomentum：基于键值的各向异性动量更新

🧭 优化器动量更新 · Delta Rule

Electrical and Computer Engineering, Carnegie Mellon University

把线性层梯度拆成 key-value，用 delta rule 做方向感知动量更新来加速训练收敛

📌 工作参考价值（4 点）

推荐系统特征通常极度稀疏/长尾，例如 user/item id、类目等输入方向的频率高度不均。DeltaMomentum 可直接替换现有优化器的动量 buffer，对高频方向自动降低遗忘、低频方向加快遗忘，特别适合 embedding 层和 wide 部分；无额外持久内存，可在排序/召回模型训练中验证步数节省。
若业务在用 LLM 做生成式推荐或领域模型预训练，可在 AdamW 上启用 DeltaMomentum，论文在 67M/370M 语言模型上分别减少 46%/22% 达到同验证损失的步数，对固定算力预算下扩大模型或数据量有直接价值。
工程实现注意：额外计算约为 gated-MLP 线性层成本的 22-25%，无 persistent memory；但方法基于线性层 key-value 结构，对 attention 等非简单线性部分需适配，建议先在 MLP/embedding 层替换。
调参经验：系数在 μP 下可跨宽度迁移，若业务使用 μP 训练超大规模模型，能用小模型调的系数直接放大，降低调参成本。

Training | 2026-08-19 | stat.ML | score 7/10

Gated DeltaNet-2: 线性注意力中擦除与写入的解耦

🧭 线性注意力 · 记忆更新解耦

NVIDIA

将 Delta 规则的记忆更新拆分为通道级擦除门与写入门，突破原有标量门控的耦合限制，显著提升长上下文检索性能。

📌 工作参考价值（4 点）

超长用户序列建模：电商中用户行为序列可达数万步，Gated DeltaNet-2 的线性时间复杂度和常量级解码内存可直接用于高效序列编码，其通道级擦除/写入解耦能更精细地更新兴趣记忆，避免旧兴趣过早丢失或新兴趣写入不足。
记忆网络的特征交互：可将该方法的核心思想——解耦“遗忘”与“记忆”的强度控制——迁移到特征交互的记忆模块，例如在 Deep Interest Network 中，用独立的通道门控来更新交叉特征的记忆，提升对用户长期偏好的捕获。
并行化训练的工程借鉴：论文推导的 chunkwise WY 算法和门控感知反向传播可直接用于大规模推荐模型的序列训练，在不牺牲模型表达能力的前提下大幅提高训练吞吐，适合线上内容快速迭代。
Agent 工作记忆的维护：在多智能体系统中，该技术可用于维护上下文压缩后的记忆状态，通过解耦擦除和写入，实现对对话历史、环境状态的精准增量编辑，增强 Agent 在长对话或复杂任务中的上下文跟踪能力。

LLM | 2026-05-20 | HF Daily | score 6/10